Được các cán bộ Việt Minh, từ tháng 7 năm 1942, ông tham gia làm liên lạc dẫn đường, tiếp tế nuôi cán bộ Việt Minh hoạt động bí mật ở địa phương khi mới 14 tuổi. Nhiều lần ông cùng với du kích tham gia chiến đấu bảo vệ cán bộ, cõng những cán bộ đau ốm vào ẩn giấu trong rừng tránh sự lùng bắt của chính quyền thực dân Pháp.

Tuy được triệu tập dự lớp huấn luyện thành lập những mãi đến tháng 1 năm 1945, ông mới gia nhập Việt Nam Tuyên truyền Giải phóng quân. Từ tháng 5 đến tháng 8 năm 1945, ông tham gia giành chính quyền cho Việt Minh tại Thất Khê, Na Sầm và trở thành phụ tá cho ông Phùng Hữu Tài trong khóa huấn luyện cấp tốc, đào tạo cán bộ Việt Minh tại Thất Khê.[3]

Sau khi Vệ quốc đoàn được tổ chức chính quy hóa, Chi đội Lạng Sơn trở thành Trung đoàn 28, ông Phùng Thế Tài được phân công làm Trung đoàn trưởng. ông được phân công làm cán bộ tiểu đội, trung đội, Tiểu đoàn 2, thuộc trung đoàn này.